#Bayesian Inference

3 篇

Multi-Task Bayesian In-Context Learning

多任务贝叶斯上下文学习

🧭 摊销贝叶斯推理 · 先验自适应上下文学习

New York University · NYU Langone Health

将先验信息表示为上下文数据集前缀，训练Transformer快速适应不同先验的贝叶斯预测推理

📌 工作参考价值（4 点）

在推荐系统中，利用类似上下文学习机制快速适应新的用户群体或变化偏好：将少量历史交互作为上下文示例，模型动态调整预测分布，无需微调。
为推荐模型提供轻量级的不确定性量化：预测分布可直接用于探索-利用决策，提升数据效率。
将用户/物品元特征或领域知识构造为先验前缀，使模型在推理时即插即用适应新场景，缓解冷启动与分布偏移问题。
工程上可作为元学习组件嵌入现有多任务推荐管道，只需增加少量上下文 token 开销，实现快速任务适应。

Training | 2026-06-18 | cs.LG | score 6/10

On the Construction and Implications of Low-Loss Valleys in LoRA-based Bayesian Inference

LoRA空间中低损失谷的构建及其对贝叶斯推断的意义

🧭 LLM微调 · LoRA贝叶斯推断

HTWG Konstanz · LMU Munich · Munich Center for Machine Learning (MCML) · TIDIT.ch

提出分段贝塞尔曲线连接独立LoRA最优解，形成连续低损失谷，提升不确定性估计和功能多样性

📌 工作参考价值（4 点）

低成本贝叶斯集成：利用分段贝塞尔曲线在LoRA空间内连接多个独立微调点，只需少量曲线参数即可实现参数空间遍历，为推荐模型的多样性预测提供比传统deep ensemble更轻量的方案。
不确定性校准：通过沿低损失谷进行参数扰动（结合flat-minima扰动）生成多样化预测分布，可直接用于电商搜索/推荐场景的置信度估计，缓解过度自信。
功能多样性正则化：引入Jensen-Shannon散度正则项鼓励不同曲线点的预测差异，可迁移至多任务推荐模型训练，促进多专家或子网络的功能多样化，提升集成互补性。
连续模式连接优于离散集成：实验表明线性插值遇损失障碍，而曲线版连续路径有效，提示在LoRA微调推荐大模型时，应避免简单参数平均或独立集成，可采用路径化方法获取更平滑的不确定性面。

LLM | 2026-05-28 | stat.ML | score 7/10

LoRA Bayesian Inference Uncertainty Curve Parameterization Ensembling

To discretize continually: Mean shift interacting particle systems for Bayesian inference

基于均值漂移交互粒子系统的贝叶斯推断离散化方法

🧭 粒子系统贝叶斯采样 · MMD 最小化

Center for Computational Science and Engineering, Massachusetts Institute of Technology · Laboratory for Information and Decision Systems, Massachusetts Institute of Technology

提出均值漂移交互粒子系统，通过 MMD 最小化逼近目标分布，实现免归一化常数的贝叶斯积分近似。

📌 工作参考价值（4 点）

推荐系统中贝叶斯模型（如贝叶斯个性化排序）的后验推断常面临多模态挑战，该方法的交互粒子系统能有效捕捉多模态和 anisotropy，避免模式坍缩，从而提升参数估计的准确性。
方法不依赖归一化常数，且支持无梯度实现，适用于优化非可微排序指标（如 NDCG）的场景，可直接用于粒子优化。
粒子系统实现简单，易于并行化，可用于需要在线更新后验的实时推荐或动态定价场景。
对于生成式推荐中的隐变量模型，可将此方法用于近似后验采样，替代传统的 MCMC 或变分推断，提高采样多样性和效率。

Training | 2026-05-13 | stat.ML | score 6/10

Mean Shift MMD Interacting Particle Systems Bayesian Inference Quadrature Gradient Flow